期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 用户粒度级的个性化社交文本生成模型
高永兵, 高军甜, 马蓉, 杨立东
《计算机应用》唯一官方网站    2023, 43 (4): 1021-1028.   DOI: 10.11772/j.issn.1001-9081.2022030460
摘要310)   HTML24)    PDF (2546KB)(151)    收藏

针对开放性的社交文本领域的文本生成技术生成的文本内容缺少个性化特征的问题,提出了一种用户级的细粒度控制生成模型,即PTG-GPT2-Chinese(Personalized Text Generation Generative Pre-trained Transformer 2 -Chinese)。所提模型基于GPT2(Generative Pre-trained Transformer 2.0)结构设计了Encoder-Decoder模型框架。首先在Encoder端对用户的静态个性化信息建模并编码,在Decoder端添加了双向独立的注意力模块,用于接收该静态的个性化特征向量,并利用原始GPT2结构中的注意力模块捕获用户文本中的动态个性化特征;然后,动态加权融合各注意力模块分数并参与后续解码,从而自动生成以用户个性化特征属性作为约束的社交文本;此外,为了解决用户基本信息的语义稀疏性导致的生成文本偶尔与某些个性化特征存在矛盾的问题,采用BERT模型对Decoder端输出数据与用户个性化特征进行一致性理解的二次增强生成,最终实现个性化的社交文本生成。实验结果表明,与GPT2模型相比,所提模型的流畅度提高了0.36%~0.72%,且在不损失语言流畅度的基础上,二次生成使个性化和一致性两个评价指标分别提高了10.27%和13.24%。这验证了所提模型能够有效辅助用户创作,生成流畅且符合用户个性的社交文本。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 用户粒度级的个性化社交文本生成技术研究
高永兵 高军甜 马蓉 杨立东